自我监督的学习允许AI系统使用不需要昂贵的标签的任务从大量数据中学习有效表示。模式崩溃,即为所有输入产生相同表示形式的模型,是许多自我监督学习方法的核心问题,可以使自我监督任务(例如匹配输入的变形变体)无效。在本文中,我们认为,同一输入的替代潜在表示之间信息最大化的直接应用自然解决了崩溃问题并实现了竞争性的经验结果。我们提出了一种自我监督的学习方法Corinfomax,该方法使用了基于二阶统计的共同信息度量,以反映其参数之间的相关性水平。在同一输入的替代表示之间最大化此相关信息度量有两个目的:(1)它通过生成具有非脱位协方差的特征向量来避免崩溃问题; (2)通过增加它们之间的线性依赖性,它在替代表示之间建立了相关性。提出的信息最大化客观的近似简化为基于欧几里得距离的目标函数,该目标函数由特征协方差矩阵的对数确定因素正规化。正则术语是针对特征空间退化的自然障碍。因此,除了避免完全输出崩溃到一个点外,提出的方法还通过鼓励信息在整个特征空间中的传播来防止尺寸崩溃。数值实验表明,相对于最先进的SSL方法,Corinfomax取得更好或竞争性的性能结果。
translated by 谷歌翻译
We investigate ensemble methods for prediction in an online setting. Unlike all the literature in ensembling, for the first time, we introduce a new approach using a meta learner that effectively combines the base model predictions via using a superset of the features that is the union of the base models' feature vectors instead of the predictions themselves. Here, our model does not use the predictions of the base models as inputs to a machine learning algorithm, but choose the best possible combination at each time step based on the state of the problem. We explore three different constraint spaces for the ensembling of the base learners that linearly combines the base predictions, which are convex combinations where the components of the ensembling vector are all nonnegative and sum up to 1; affine combinations where the weight vector components are required to sum up to 1; and the unconstrained combinations where the components are free to take any real value. The constraints are both theoretically analyzed under known statistics and integrated into the learning procedure of the meta learner as a part of the optimization in an automated manner. To show the practical efficiency of the proposed method, we employ a gradient-boosted decision tree and a multi-layer perceptron separately as the meta learners. Our framework is generic so that one can use other machine learning architectures as the ensembler as long as they allow for a custom differentiable loss for minimization. We demonstrate the learning behavior of our algorithm on synthetic data and the significant performance improvements over the conventional methods over various real life datasets, extensively used in the well-known data competitions. Furthermore, we openly share the source code of the proposed method to facilitate further research and comparison.
translated by 谷歌翻译
从3D部分纹理扫描中重建3D人体形状仍然是许多计算机视觉和图形应用程序的基本任务 - 例如,身体动画和虚拟敷料。我们提出了一种新的神经网络体系结构,用于3D身体形状和高分辨率纹理完成-BCOM-NET,可以重建从中级到高级部分输入扫描的完整几何形状。我们将整个重建任务分解为两个阶段 - 首先,一个联合隐式学习网络(SCOM-NET和TCOM-NET),该网络将进行体素化扫描及其占用网格作为重建全身形状并预测顶点纹理的输入。其次,一个高分辨率的纹理完成网络,利用预测的粗顶点纹理来注入部分“纹理图集”的缺失部分。对3DBodyTex.V2数据集进行了彻底的实验评估表明,我们的方法在最先进的情况下取得了竞争成果,同时概括了不同类型和部分形状的水平。所提出的方法在2022年尖锐的挑战1-Track1中也排名第二。
translated by 谷歌翻译
深度学习(DL)在无线领域中找到了丰富的应用,以提高频谱意识。通常,DL模型要么是根据统计分布后随机初始初始初始初始初始初始初始初始初始初始化,要么在其他数据域(例如计算机视觉)(以转移学习的形式)上进行鉴定,而无需考虑无线信号的唯一特征。即使只有有限的带有标签的培训数据样本,自我监督的学习也能够从射频(RF)信号本身中学习有用的表示形式。我们通过专门制定一组转换以捕获无线信号特征来提出第一个自我监督的RF信号表示学习模型,并将其应用于自动调制识别(AMR)任务。我们表明,通过学习信号表示具有自我监督的学习,可以显着提高样本效率(实现一定准确性性能所需的标记样品数量)。这转化为大量时间和节省成本。此外,与最先进的DL方法相比,自我监管的学习可以提高模型的准确性,即使使用了一小部分训练数据样本,也可以保持高精度。
translated by 谷歌翻译
犯罪预测问题的现有方法在表达细节时不成功,因为它们将概率值分配给大区域。本文介绍了一种具有图形卷积网络(GCN)和多变量高斯分布的新架构,以执行适用于任何时空数据的高分辨率预测。通过利用GCN的灵活结构并提供细分算法,我们以高分辨率在高分辨率下解决稀疏问题。我们用图形卷积门控经常性单位(Graph-concgru)构建我们的模型,以学习空间,时间和分类关系。在图形的每个节点中,我们学习来自GCN的提取特征的多变量概率分布。我们对现实生活和合成数据集进行实验,我们的模型获得了最佳验证和基线模型中的最佳测试分数,具有显着改进。我们表明我们的模型不仅是生成的,而且是精确的。
translated by 谷歌翻译
增强学习算法通常需要马尔可夫决策过程(MDP)中的状态和行动空间的有限度,并且在文献中已经对连续状态和动作空间的这种算法的适用性进行了各种努力。在本文中,我们表明,在非常温和的规律条件下(特别是仅涉及MDP的转换内核的弱连续性),通过量化状态和动作会聚到限制,Q-Learning用于标准BOREL MDP,而且此外限制满足最优性方程,其导致与明确的性能界限接近最优性,或者保证渐近最佳。我们的方法在(i)上建立了(i)将量化视为测量内核,因此将量化的MDP作为POMDP,(ii)利用Q-Learning的Q-Learning的近的最优性和收敛结果,并最终是有限状态的近最优态模型近似用于MDP的弱连续内核,我们展示对应于构造POMDP的固定点。因此,我们的论文提出了一种非常一般的收敛性和近似值,了解Q-Learning用于连续MDP的适用性。
translated by 谷歌翻译
在多机构强化学习(MARL)中,独立学习者是那些不观察系统中其他代理商的行为的学习者。由于信息的权力下放,设计独立的学习者将发挥均匀的态度是有挑战性的。本文研究了使用满足动态来指导独立学习者在随机游戏中近似平衡的可行性。对于$ \ epsilon \ geq 0 $,$ \ epsilon $ -SATISFICING策略更新规则是任何规则,指示代理在$ \ epsilon $ best-best-reversponding to to to the其余参与者的策略时不要更改其策略; $ \ epsilon $ -SATISFIFICING路径定义为当每个代理使用某些$ \ epsilon $ -SATISFIFICING策略更新规则来选择其下一个策略时,获得的联合策略序列。我们建立了关于$ \ epsilon $ - 偏离型路径的结构性结果,这些路径是$ \ epsilon $ equilibium in Symmetric $ n $ - 玩家游戏和带有两个玩家的一般随机游戏。然后,我们为$ n $玩家对称游戏提出了一种独立的学习算法,并为自我玩法的$ \ epsilon $ equilibrium提供了高可能性保证。此保证仅使用对称性,利用$ \ epsilon $ satisficing路径的先前未开发的结构。
translated by 谷歌翻译
在部分观察到的马尔可夫决策过程(POMDPS)的理论中,通过将原始部分观察到的随机控制问题转换为在信仰空间的完全观察到的人,导致信仰MDP的完全观察到的最佳政策存在。然而,计算出于这个完全观察到的模型的最佳策略,以及原始POMDP,即使原始系统具有有限状态和动作空间,也可以使用经典动态或线性编程方法具有挑战性,自完全观察到的信仰的状态空间 - MDP模型始终是不可数的。此外,存在非常少数严格的价值函数近似和最佳的政策近似结果,因为所需的规则条件通常需要繁琐的研究,涉及导致诸如FELLER连续性等性质的概率措施的空间。在本文中,我们研究了假设系统动态和测量信道模型的POMDP的规划问题。我们通过仅使用有限窗口信息变量对信仰空间离散地来构造近似信仰模型。然后,我们为近似模型找到最佳策略,我们严格地在温和的非线性滤波器稳定条件下严格地在POMDPS中的构建有限窗口控制策略的最优性以及测量和动作集是有限的假设(并且状态空间是真实的矢量估值)。我们还建立了收敛结果的速度,这与有限窗口存储器大小和近似误差绑定,其中收敛速率是在显式和可测试的指数滤波器稳定条件下的指数。虽然存在许多实验结果和很少严格的渐近收敛结果,但在文献中,文献中的新的收敛率是新的,达到我们的知识。
translated by 谷歌翻译
在极低光线条件下捕获图像会对标准相机管道带来重大挑战。图像变得太黑了,太吵了,这使得传统的增强技术几乎不可能申请。最近,基于学习的方法已经为此任务显示了非常有希望的结果,因为它们具有更大的表现力能力来允许提高质量。这些研究中的激励,在本文中,我们的目标是利用爆破摄影来提高性能,并从极端暗的原始图像获得更加锐利和更准确的RGB图像。我们提出的框架的骨干是一种新颖的粗良好网络架构,逐步产生高质量的输出。粗略网络预测了低分辨率,去噪的原始图像,然后将其馈送到精细网络以恢复微尺的细节和逼真的纹理。为了进一步降低噪声水平并提高颜色精度,我们将该网络扩展到置换不变结构,使得它作为输入突发为低光图像,并在特征级别地合并来自多个图像的信息。我们的实验表明,我们的方法通过生产更详细和相当更高的质量的图像来引起比最先进的方法更令人愉悦的结果。
translated by 谷歌翻译